FIRE: Failure-Informed Runtime Engineering for Reliable Language-Model Agents
FIRE：面向可靠语言模型智能体的失败知情运行时工程
🧭 LLM Agent 可靠性运行时策略
Failproof AI
通过运行时注入定向指令与动作拒绝，不改权重与用户提示，显著提升代理重复成功率
📌 工作参考价值（4 点）
- 对购物导购/搜索推荐 Agent，可记录失败轨迹中失败前的状态（如即将执行危险 shell 命令或改写 query 前），在此状态注入简短定向自然语言纠正，并可选拒绝特定动作，不改模型权重或系统提示，作为低成本可靠性补丁
- 评估 Agent 可靠性时引入 pass^2（两次尝试均成功）而非只看 best-of-2；在电商场景如自动选品/广告文案 Agent，更贴近“稳定交付”要求，能暴露“偶尔成功但不可依赖”的问题
- 用低 tier 模型 + 失败知情策略可逼近甚至超过高 tier 模型裸跑，同时成本约一半；在预算有限的推荐 Agent 场景，可优先做运行时工程而非升级模型
- 做对照实验时用 timing-matched sham 和 generic verification 排除“额外提示/更多思考”的混淆，确认是定向纠正行为在起作用；业务团队可借鉴该 RCT 设计来验证策略有效性